（来源：上观新闻）
让我们用一个简化🔳示例说明，假设训🕋练语料🇸🇭🇲🇺包含以下词汇🇸🇮🏘及出现频率：3️⃣ “hug🏹🔊”：10次 👰🐤“pug🕯”：5次 “p🆒un”：12🇸🇨次 “bu📄⛳n”：4次 “📵🇹🇰hugs👂”：5次 第一😬步：将📤🦙所有词拆分为字🌷🦡符，添加结束符 🧱⛷“hug🇹🇰” → “h 🎌🚤u g ” “👈pug🍳⌛” → “p 👍u g🇦🇫💿 ” “p🇦🇮un” → 🚌🇲🇽“p u n ”🦌 “bu🦶n” → “🎞👨🚀b u n ” 🧟♂️“hugs⚔🥖” → “🔝h u g s 🚰🍨” 初始词汇表仅🌞包含基础字符🍶：{b, g📡, h🧴🇸🇰, n, p🇦🇩🌱, s, 🏧u, 🚩🏘} 第二步：统计⚡相邻字符对的出现🚒频率 “u g💿”：1🇬🇳👝5次（来🌇自“hug”👁🦙的10次🇬🇹🍣 + 👁“hugs”的5⛽🈲次） 🦉🚖“u n”：🎍16次（来☕🍦自“pu💢n”的1😛2次 + “bu🎏n”的4次） “👨👧👦🇱🇷p u”：17❎次（来自“👩🎓pug”的5🇲🇰🇵🇬次 + “p📓un”的12次）🐂 第三‼🏓步：合并最高频字🕶5️⃣符对 😠😯假设“p u🇧🇦🇵🇾”频率最高（17🍰👁次），创建👨👩👧🇬🇪新符号📙🕞“pu”， 词🇩🇯汇表扩展为👨🌾：{b, 😣🚂g, h, 💶😃n, p, s🤸♂️🌼, u, , 🤘pu} 第👩⚖️四步：迭🛴代重复 继续🍜🏖统计新语料中的☹🐖字符对频率，合并🖤下一个📬最高频🤸♀️对，直🚃🈴到达到预设的词汇💙表大小（🛬如GPT-2为🇨🇰🚊50,257个🥥token）🇸🇰🚁。
自2017年🤙以来，移居美✝国的A🇱🇨🇳🇺I学者数量下↕🙈降了89%🤺。黄建桦👜 摄 比赛设有个🔓人赛和团体👟👨🍳赛，并🕧✋分为穿越🇮🇴🇺🇾机竞速赛、🐱🚹应急救援挑战赛💣🏌、低空物流运输🇨🇰🥠竞赛三个赛道，🍛🏴着重检验参赛选手🏹⛳在无人机操🥏控、应急🕉🚶♀️救援、低空物流❗运输等🎽方面的综合能力📃。
多个常用字🚃🥚被打包🔚成单个词🧠👁元 像“的🐢”“是🦋📈”“了🐔”“在🇩🇪🧞♀️”等超高频🇵🇷汉字，在训练语🗿📍料中反复出现，B🙌🇹🇰PE算🧓🇷🇼法会将它们🕍与相邻高频字组🥄👢合成固定🎅词元☮🗝。检索方面，G🛳Brain 采用🔢混合搜🧵索策略⛴🈚：关键词精确匹配👩⚕️🗒搭配基于 pg⛲vector 🇺🇬👩🦱的向量语义🍌搜索，🥳再通过 🤰RRF（Rec✌iproc🥣🏌️♀️al Rank🦸♀️ Fusion🤬，一种排序融合🇦🇷🇲🇵算法）将两路结💖🍵果合并🚥。
